Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning
懂得何时放弃：诊断并训练大模型中止无效推理
🧭 LLM推理能力对齐与无效推理抑制 ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Weixin AI, Tencent Inc
提出CaRL框架，通过能力校准奖励与事后拒绝增强，让LLM在超出能力时学会放弃而非生成看似正确的无效推理
📌 工作参考价值（4 点）
- Agent / 推荐决策中的安全拒绝机制：当 LLM 作为 Agent 处理复杂推荐或搜索任务（如组合优化、约束检查）超出能力时，可借鉴 CaRL 的三级奖励（正确+1，拒绝0，错误-1）训练模型选择拒绝而非生成看似合理但错误的方案，避免误导用户。
- 失败轨迹的样本增强：事后拒绝增强（HRA）将失败的推理轨迹自动转化为带解释的拒绝样本，解决了拒绝数据稀缺问题；在电商对话推荐或商品组合生成中，可将用户不满意的推荐路径转化为“当前无法满足”的回复，提升安全性。
- 降低推理计算浪费：CaRL 使模型在察觉不可能时尽早终止，推理长度减少约33%；在高吞吐的广告查询改写或搜索推荐场景，可大幅节省 token 成本同时控制无效输出。
- 仅靠奖励塑造不够，需要密集拒绝信号：实验表明，缺少 HRA 时单纯校准奖励无法让模型学会拒绝（RL<sub>unk</sub> 无效推理率仍 > 95%）；提示我们在为 LLM 加入拒识能力时，必须构造明确的拒绝演示参与训练。